2853
6064 
Megpróbálom elérni, hogy a RabbitMQ Celery-vel és Django-val egy EC2-es példányon folytasson néhány alapvető háttérfeldolgozást. A rabbitmq-server 2.5.0 szoftvert futtatom egy nagy EC2 példányon.
Letöltöttem és telepítettem a teszt klienst az itt található utasítások szerint (az oldal legalsó részén). Csak elengedtem a teszt szkriptet, és megszereztem a várt kimenetet:
visszatérési sebesség: 2350 msg / s, min / átlag / max. késleltetés: 588078478/588352905/588588968 mikroszekundum
visszatérési sebesség: 1844 msg / s, min / átlag / max. késleltetés: 588589350/588845737/589195341 mikroszekundum
visszatérési sebesség: 1562 msg / s, min / átlag / max. késleltetés: 589182735/589571192/589959071 mikroszekundum
visszatérési sebesség: 2080 msg / s, min / átlag / max. késleltetés: 589959557/590284302/590679611 mikroszekundum
A probléma az, hogy hihetetlen mennyiségű CPU-t fogyaszt:
PID USER PR NI VIRT RES SHR S% CPU% MEM IDŐ + PARANCS
668 nyúlmq 20 0 618m 506m 2340 S 166 6,8 2: 31,53 nyal.smp
1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java
Korábban teszteltem egy mikropéldányon, és teljesen felemésztette a példány összes erőforrását.
Ez várható? Csinálok valamit rosszul?
Köszönöm.
Szerkesztés:
A bejegyzés valódi oka az volt, hogy a zellerverés egy ideig rendben volt, és hirtelen felemésztette a rendszer összes erőforrását. Telepítettem a rabbitmq kezelőeszközöket, és megvizsgáltam, hogyan jönnek létre a sorok zellerből és a rabbitmq tesztcsomagból. Számomra úgy tűnik, hogy a zeller árván hagyja ezeket a sorokat, és nem múlnak el.
Itt van a tesztcsomag által létrehozott sor. Egy sor jön létre, és az összes üzenet belemegy és kijön:
A Celerybeat a feladat minden egyes futtatásakor új várólistát hoz létre:
Igazra állítja az automatikus törlés paramétert, de nem vagyok teljesen biztos abban, hogy ezek a sorok mikor törlődnek. Úgy tűnik, lassan csak felhalmozódnak és megeszik az erőforrásokat.
Van valakinek ötlete?
Köszönöm.
2021-01-29 08:16:43 
Ok, kitaláltam.
Itt található a vonatkozó dokumentáció:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
A régi eredményeket nem törli automatikusan, ezért feltétlenül el kell fogyasztania az eredményeket, különben a sorok száma végül nem kerül ellenőrzésre. Ha a RabbitMQ 2.1.1 vagy újabb verzióját futtatja, kihasználhatja az x-expires argumentumot a sorokba, amelyek egy bizonyos időkorlát után lejárnak, amikor azokat nem használják. A várakozási idő lejárata (másodpercben) a CELERY_AMQP_TASK_RESULT_EXPIRES beállítással állítható be (alapértelmezés szerint nincs engedélyezve).
|
Eric Conner saját problémájára adott megoldásához hozzáadja a http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices állítást:
Hagyd figyelmen kívül a nem kívánt eredményeket
Ha nem érdekel a feladat eredménye, mindenképpen állítsa be az ignore_result opciót, mivel az eredmények tárolása időt és erőforrásokat pazarol.
@ app.task (ignore_result = True)
def mytask (…):
valami()
Az eredmények globálisan is letilthatók a CELERY_IGNORE_RESULT beállítással.
Ez és Eric válasza valószínűleg a legjobb minimum gyakorlati módszer az eredmény-háttérkezelés kezeléséhez.
Ha nincs szüksége eredménytámogatásra, állítsa be a CELERY_IGNORE_RESULT beállítást, vagy egyáltalán ne állítson be eredményháttérképet. Ha mégis szüksége van egy eredmény-háttérre, állítsa be a CELERY_AMQP_TASK_RESULT_EXPIRES lehetőséget, hogy megvédje a fel nem használt eredmények felhalmozódásától. Ha nincs szüksége egy adott alkalmazáshoz, állítsa be a helyi figyelmen kívül hagyást a fentiek szerint.
|
A válaszod
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("externalEditor", function () {
StackExchange.using ("kivonatok", function () {
StackExchange.snippets.init ();
});
});
}, "kódrészletek");
StackExchange.ready (function () {
var channelOptions = {
címkék: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", function () {
// A szerkesztőt töredékek után kell indítania, ha a kivonatok engedélyezve vannak
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("kivonatok", function () {
createEditor ();
});
}
más {
createEditor ();
}
});
function createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: hamis,
heartbeatType: 'válasz',
autoActivateHeartbeat: hamis,
convertImagesToLinks: true,
noModals: igaz,
showLowRepImageUploadWarning: igaz,
reputációToPostImages: 10,
bindNavPrevention: igaz,
postfix: "",
imageUploader: {
brandingHtml: "Powered by \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.7256 4 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 144.04 144 144 144 144 144 0 144 0 144 0 144 144 144 144 0 144 144 144 144 144 144 0 144 144 144 144 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 144 144 144 144 144 144 141 141 142 144 141 144 144 144 144 144 1418 képest vissza ülésre 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5455C35 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ "clip-rule = = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9950 4,509 263 4 4 950 4 262 4 5 9 4 5 9 5 9 5 5 9 5 5 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.1252 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.633524 724243 724247 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.802.16.22.280.213.25.235.213.25.2513.15.259.19 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 46.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.59117 7119 7119 7159 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.1159 2.90056 0.400291 1.1159 2.90056 0.400291 1.87209 # 0.40029Z c / a \ u003e ",
contentPolicyHtml: „Felhasználói hozzájárulások \ u003ca href = alatt engedélyezettek” content-policy \ "\ u003e (tartalmi irányelv) \ u003c / a \ u003e",
allowUrls: igaz
},
onDemand: igaz,
discardSelector: ".discard-answer"
, azonnalShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Köszönjük, hogy hozzájárult a Stack Overflow válaszához!
Kérjük, feltétlenül válaszoljon a kérdésre. Adjon meg részleteket és ossza meg kutatását!
De kerüld ...
Segítség kérése, pontosítás vagy válaszadás más válaszokra.
Nyilatkozatok tétele vélemény alapján; Készítsen biztonsági másolatot referenciákkal vagy személyes tapasztalatokkal.
Ha többet szeretne megtudni, olvassa el a nagyszerű válaszok megírásával kapcsolatos tippjeinket.
Piszkozat mentve
Piszkozat eldobva
Regisztráljon vagy jelentkezzen be
StackExchange.ready (function () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Regisztráljon a Google segítségével
Regisztráljon a Facebook segítségével
Regisztráljon az E-mail és a Jelszó használatával
Beküldés
Hozzászólás vendégként
Név
Email
Kötelező, de soha nem látható
StackExchange.ready (
függvény () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-consumering-ton-of-cpu% 23new-answer', ' kérdés_oldal ');
}
);
Hozzászólás vendégként
Név
Email
Kötelező, de soha nem látható
Tegye közzé válaszát
Dobja el
A „Válasz elküldése” gombra kattintva elfogadja az Általános Szerződési Feltételeinket, az adatvédelmi irányelveket és a cookie-kat
Nem a keresett válasz? Böngésszen a django rabbitmq zeller címkézett egyéb kérdésekben, vagy tegye fel saját kérdését.